In this paper, we propose a new neural network architecture based on the H2 matrix. Even though networks with H2-inspired architecture already exist, and our approach is designed to reduce memory costs and improve performance by taking into account the sparsity template of the H2 matrix. In numerical comparison with alternative neural networks, including the known H2-based ones, our architecture showed itself as beneficial in terms of performance, memory, and scalability.
translated by 谷歌翻译
Self-attentive transformer models have recently been shown to solve the next item recommendation task very efficiently. The learned attention weights capture sequential dynamics in user behavior and generalize well. Motivated by the special structure of learned parameter space, we question if it is possible to mimic it with an alternative and more lightweight approach. We develop a new tensor factorization-based model that ingrains the structural knowledge about sequential data within the learning process. We demonstrate how certain properties of a self-attention network can be reproduced with our approach based on special Hankel matrix representation. The resulting model has a shallow linear architecture and compares competitively to its neural counterpart.
translated by 谷歌翻译
与2D栅格图像不同，没有用于3D视觉数据处理的单个主导表示。点云，网格或隐式功能等不同格式都具有其优点和劣势。尽管如此，诸如签名距离函数之类的网格表示在3D中也具有吸引人的属性。特别是，它们提供恒定的随机访问，并且非常适合现代机器学习。不幸的是，网格的存储大小随其尺寸而呈指数增长。因此，即使在中等分辨率下，它们也经常超过内存限制。这项工作探讨了各种低量张量格式，包括Tucker，Tensor Train和Wartenics Tensor tensor tensor tensor tensor分解，以压缩时间变化的3D数据。我们的方法迭代地计算，体素化和压缩每个帧的截断符号距离函数，并将张量式截断施加到代表整个4D场景的单个压缩张量中，将所有框架凝结到一个单个压缩张量中。我们表明，低级张量压缩对于存储和查询时间变化的签名距离功能非常紧凑。它大大降低了4D场景的内存足迹，同时令人惊讶地保留了它们的几何质量。与现有的基于迭代学习的方法（如DEEPSDF和NERF）不同，我们的方法使用具有理论保证的封闭式算法。
translated by 谷歌翻译
深度神经网络的规模和复杂性继续成倍增长，大大增加了这些模型训练和推断的能源消耗。我们介绍了一个开源软件包ECO2AI，以帮助数据科学家和研究人员以直接的方式跟踪其模型的能源消耗和同等的二氧化碳排放。在Eco2ai中，我们强调能源消耗跟踪和正确的区域二氧化碳排放会计的准确性。我们鼓励研究社区搜索具有较低计算成本的新最佳人工智能（AI）架构。动机还来自基于AI的温室气体与可持续AI和绿色AI途径隔离周期的概念。
translated by 谷歌翻译
张量网络是一种用于表达和近似大量数据的分解类型。给定的数据集，量子状态或更高维的多线性图是由较小的多线性图组成的组成和近似的。这让人联想到如何将布尔函数分解为栅极阵列：这代表了张量分解的特殊情况，其中张量输入的条目被0、1替换，并且分解化精确。相关技术的收集称为张量网络方法：该主题在几个不同的研究领域中独立开发，这些领域最近通过张量网络的语言变得相互关联。该领域中的Tantamount问题涉及张量网络的可表达性和减少计算开销。张量网络与机器学习的合并是自然的。一方面，机器学习可以帮助确定近似数据集的张量网络的分解。另一方面，可以将给定的张量网络结构视为机器学习模型。本文中，调整了张量网络参数以学习或分类数据集。在这项调查中，我们恢复了张量网络的基础知识，并解释了开发机器学习中张量网络理论的持续努力。
translated by 谷歌翻译
我们提出了一种基于有效的量化张量列表表示和广义最大矩阵音量原理的组合进行优化的新过程。我们证明了新的张量火车优化器（TTOPT）方法在各种任务中的适用性，从最小化多维功能到增强学习。我们的算法与流行的基于进化的方法进行了比较，并以函数评估或执行时间的数量（通常是大幅度的余量）优于它们。
translated by 谷歌翻译
Diffusion models have recently outperformed alternative approaches to model the distribution of natural images, such as GANs. Such diffusion models allow for deterministic sampling via the probability flow ODE, giving rise to a latent space and an encoder map. While having important practical applications, such as estimation of the likelihood, the theoretical properties of this map are not yet fully understood. In the present work, we partially address this question for the popular case of the VP SDE (DDPM) approach. We show that, perhaps surprisingly, the DDPM encoder map coincides with the optimal transport map for common distributions; we support this claim theoretically and by extensive numerical experiments.
translated by 谷歌翻译
随机平滑被认为是针对对抗扰动的最先进的防御。但是，它大大利用了这样一个事实，即分类器将输入对象映射到类概率，而不专注于学习度量空间，在该度量空间中，通过计算距离嵌入类原型的距离来执行分类。在这项工作中，我们将随机平滑性扩展到绘制到归一化嵌入的几片学习模型。我们提供了此类模型的Lipschitz连续性的分析，并针对$ \ ell_2 $结合的扰动获得了稳健性证书，这些扰动可能在几次学习方案中很有用。我们的理论结果通过不同数据集的实验证实。
translated by 谷歌翻译
高保真语义图像编辑的最新进展依赖于最先进的生成模型的概述潜在的潜在空间，例如风格。具体而言，最近的作品表明，通过线性偏移以及潜在方向，可以实现面部图像中的属性的体面可控性。几个最近的方法解决了这种方向的发现，隐含地假设最先进的GAN学习潜在空间，具有固有的线性可分离属性分布和语义矢量算术属性。在我们的工作中，我们表明，作为培训神经颂歌的流动实现的非线性潜在的代码操纵对于许多具有更复杂的非纹理变化因子的实用非面孔图像域有益。特别是，我们调查具有已知属性的大量数据集，并证明某些属性操作仅具有线性移位的挑战。
translated by 谷歌翻译
深度图像对小的Adver-Sarial投入扰动的脆性已被广泛研究了持续数年。然而，前面扰动的主要目标主要是限于通过不正确的一个更改了Cor-Rective预测的上1个，这不打算改变顶级k预测。在许多Digi-Tal真实世界的情景中，顶级Kpriction更加相关。在这项工作中，我们提出了一种快速准确的方法，使Top-Kadversarial示例的快速准确的方法是简单的多目标优化。我们通过将其与其他对抗性示例分泌技术进行比较来展示其功效安培。此外，基于这种方法，Wepropose Top-kuniversal对抗扰动，图像无关的微小扰动，导致真正的类别在大多数NAT-Ulal图像中的顶级Kpriction。我们通过实验表明我们的接近基线方法，甚至改善了寻找普遍对抗扰动的现有技术。
translated by 谷歌翻译